JSAI2026 損失関数の平坦さを利用したハイブリッドモデルの学習
数理モデルと機械学習
順問題
予測、サロゲート
逆問題
NN
ハイブリッドモデリング
ハイブリッドモデリング
数理モデル＋機械学習モデル
外挿したい
予測、解釈性で有利？
気象現象などの自然科学
シミュレーションしきれない物理世界の問題
ハイブリッドモデルの作り方
数理モデルの未知パラメータ推定
単純な加法結合？
$ y = f_\theta(x) + g_\phi(x)
加法的ハイブリッドモデル
機械学習モデルgのノルムがなるべく小さくなるように学習
加法的アーキテクチャが前提
推定のための正規化
デコーダ側がハイブリッドな変分オートエンコーダ
ハイブリッドモデルと「科学モデルだけの場合」の差を小さくなるように正規化
依然アーキテクチャに依存した設計
アーキテクチャによらない推定できるか？
アイデア
機械学習モデル側はなるべくシンプルになるべき
シンプルさ？→ 損失の平坦さ
MDL
目的関数が局所解の周りで平坦になっているものがシンプルである、と考える
SAMによるハイブリッドモデルの学習
sharpness-aware minimization
モデル構造によらずθを同定するために損失の平坦さを使う
損失Lの代わりに自由エネルギーを最小化する
Fisher SAMが多くの場合で良かった
#聴講メモ